Tổ tiên thiền sư Hương Hải ở làng Áng Độ, huyện Chân Phúc (sau đổi là Nghi Lộc, nay thuộc tỉnh Nghệ An). Ông Tổ năm đời của sư làm quan Quản chu tượng coi thợ đóng thuyền cho triều đình. Ông có hai người con trai. Con cả (không rõ họ tên) trông coi Lãng Doanh, tước Hùng quận công, quản đốc ba trăm lính thợ. Con thứ (không rõ họ tên) làm chức Phó cai quan, tước Trung lộc hầu, là ông Tổ bốn đời của sư. Khoảng niên hiệu Chính trị (1558-1571) đời vua Lê Anh Tông, Trung lộc hầu theo Đoan Quốc công Nguyễn Hoàng vào trấn Quảng Nam. Ông được Nguyễn Hoàng tin dùng nên thăng chức Chánh cai, quản lãnh các lính thợ đóng thuyền. Sau, Nguyễn Hoàng lại dâng sớ về triều kể rõ công trạng, vua Lê phong cho ông hiệu Khởi Nghĩa Kiệt Tiết Công Thần, cấp cho ba mươi mẫu ruộng và con cháu được thế tập.

Hương Hải (không rõ họ tên thật), sinh năm Mậu Thìn (1628), sống ở làng Bình An Thượng, thuộc phủ Thăng Hoa (nay thuộc tỉnh Quảng Nam).[3] Vốn thông minh, hiếu học ngay từ thuở nhỏ, nên năm 18 tuổi, ông thi đỗ Cử nhân), được bổ vào làm Văn chức trong phủ chúa Nguyễn Phúc Lan (ở ngôi: 1635-1648).

Năm 1652, ông được bổ làm Tri phủ Triệu Phong (nay thuộc tỉnh Quảng Trị).[4] Khi ấy, vì hâm mộ Phật pháp, ông tìm đến học đạo với Viên Cảnh, là một thiền sư Trung Hoa đang hành đạo ở Quảng Trị [5].